Tăng Quốc Phiên sai Lý Hồng Chương quay về chiêu mộ đạo quân nghĩa dũng, chiếu theo bình chế Tương quân lúc trước mà tổ chức, để huấn luyện cho nghĩa quân vùng Hoài, Từ. Phiên lại chọn mấy tay danh tướng của Tương quân như Trình Học Khải, Quách Tùng Lâm để giúp Chương. Lý Hồng Chương sau khi tuyển mộ dân binh, hết tâm huấn luyện tổ chức thành một đại đội hương dũng quân gọi là Hoài quân, dùng làm hậu ứng cho Tương quân. Tháng hai năm thứ nhất niên hiệu Đồng Trị, Chương đem quân Hoài dũng đến An Khánh, Tăng Quốc Thuyên cùng với em là Tăng Quốc Bảo cũng đem quân Tương dũng kéo sang.

Với sự trợ giúp của đoàn quân Thường Thắng có người ngoại quốc cầm đầu, vốn đã được tổ chức trước khi ông được phái tới Thượng Hải trong năm 1862, họ Lý đã tái chiếm tỉnh Giang Tô trong vòng hai năm và được triều đình bổ nhiệm Tuần phủ Giang Tô, tạo điều kiện thuận lợi cho sự chiếm giữ sau rốt thành Nam Kinh;

Ông cũng đã dẹp tan được quân Niệm nổi loạn trong năm 1868 sau khi hơn hai mươi viên chỉ huy quân sự khác đã thất bại. Khi ông được lệnh tiễu trừ giặc Niệm vào năm 1865, Hoài Quân của ông đã hoàn toàn được trang bị bằng súng và đại pháo của Tây phương.Sự thành công về quân sự mà ông có được một phần cũng là nhờ ảnh hưỏng của người bảo trợ cho ông, Tăng Quốc Phiên, người đã giúp ông tổ chức Hoài quân theo khuôn mẫu Tương quân. Hoài quân của Lý Hồng Chương trở thành một đạo quân thiện chiến với 25000 người trong thời gian nửa cuối thế kỷ XIX với các chỉ huy nổi tiếng như Lưu Minh Truyền (về sau làm Tuần phủ Đài Loan), Đinh Nhữ Xương (về sau làm Đô đốc Hải quân Bắc Dương), Trương Thụ Thanh (về sau làm Tổng đốc Lưỡng Quảng), Phan Đình Tân (về sau làm Tuần phủ Quảng Tây), Trình Học Khải... Đây là nền tảng để nhà Thanh thực hiện cải cách trong xây dựng lực lượng quân đội mới còn gọi là Tân quân vào cuối đời nhà Thanh. Lực lượng Hoài quân còn được Lý Hồng Chương sử dụng vào các cuộc chiến tranh Trung Pháp năm 1884 - 1885, Chiến tranh Trung Nhật tại Triều Tiên cho đến khi bị giải thể năm 1895.